Vũ đế chủ trương gây chiến tranh với Hung Nô, Ảm luôn nói nên giữ hòa thân, tránh sinh sự, Vũ đế không nghe . Về sau quân Hán nhiều lần đánh bại Hung Nô, lời của Ảm lại càng không được nghe .

Năm Nguyên Thú thứ 2 (121 TCN) [3], Hồn Da vương của Hung Nô đến hàng, nhà Hán phát cho ông ta 2 vạn cỗ xe. Huyện Trường An không có tiền, muốn vay ngựa của dân, thì dân giấu ngựa, nên không thể tìm đủ số. Vũ đế giận, muốn chém huyện lệnh, Ảm đang làm Hữu nội sử, vì cớ huyện Trường An nằm dưới sự quản hạt mình, nên bao che cho huyện lệnh, phản đối hoàng đế gây nhọc cho dân nhằm vỗ về người Hung Nô. Trong lúc ấy có hơn 500 người phạm tội buôn bán hàng cấm ở Trường An [6], Ảm nhân dịp này chỉ trích chính sách ưu đãi người Hung Nô về hàng của Vũ đế, khiến hoàng đế vô cùng bất mãn .